ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL
ContextPilot：细粒度强化学习驱动的 Agent 主动上下文管理
🧭 Agent 主动上下文管理 · 细粒度 RL ★ 深度解读
Tsinghua University · Tencent Youtu Lab · Shanghai AI Lab
提出 ContextPilot，扩展规划、长期记忆与软卸载工具，并用 context-aware partial rollout 与快照级信用分配训练 Agent，在 32K 窗口下超越更大上下文基线。
📌 工作参考价值（4 点）
- 在电商搜索/推荐多轮 Agent 中，把「上下文管理」显式工具化：提供 planning、结构化长期记忆（实体/事件/关系）和软删除/折叠工具，让模型自主决定何时写入记忆、何时压缩旧搜索结果，而不是依赖固定截断或总结规则。可直接借鉴 ContextPilot 的工具设计，例如将搜索结果中高价值商品信息写入记忆，将低价值长文本 summarize/compress，并用可搜索索引恢复。
- RL 训练时不要均匀探索所有工具调用：用上下文长度变化和生成熵变化给 context editing 动作打分，对高敏感动作（如删除关键历史、写入记忆）做额外分支采样。在推荐 Agent 的 GRPO/RLHF 中，可以对“切换推荐策略/更新用户画像”等关键动作增加 rollout，避免把预算浪费在普通检索步骤。
- 信用分配从 trajectory 级下沉到 snapshot 级：对某个中间上下文状态，取其所有后续分支的奖励均值作为该状态价值，再做组内标准化 advantage。这个 trick 能降低方差，适合长链路推荐/搜索 agent 的中间决策优化，避免用一个最终结果奖励惩罚/强化无关节点的上下文编辑。
- 业务上可复用“更小上下文窗口 + 更强性能”的结论：ContextPilot 以 32K 窗口超过 128K 原模型，token 使用稳定在 8-10K vs baseline 30K，直接降低线上多轮搜索/推荐的 LLM 成本与延迟。